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Beschreibung : 



Die vorliegende Erfindung betrifft eine Bildverarbeitungs- 
vorrichtung, insbesondere eine Vorrichtung zur stereosko- 
5 pischen Bildverarbeitung, sowie einen dabei verwendeten Ko- 
harenzdetektor . 

Die optische Erfassung der dreidimensionalen Umgebung ge- 
winnt seit geraumer Zeit zunehmend an Bedeutung. Insbeson- 

10 dere bei automat isierten Fertigungsablauf en und den dabei 
eingesetzten Robotern mlissen neben zweidimensionalen Koor- 

V dinaten auch Tief eninf ormationen hinsichtlich eines (zu be- 
arbeitenden) Objektes zur Verfiigung stehen, urn beispiels- 
weise einen Roboter entsprechend steuern zu konnen. 

15 

Im Rahmen der "Ident Vision" Messe 1996 in Stuttgart (DE) 
wurde zum Beispiel ein Ganzkorperscanner vorgestellt, der 
mittels einer Vielzahl von Lasern und Kameras die raumliche 
Kontur eines Objekts erfassen kann. Jedoch ist dieses Sy- 
20 stem fiir Echtzeit-Anwendungen ungeeignet. 

^ Bislang bekannte Realisierungen zur Ermittlung von Tiefen- 
inf ormationen kann man in verschiedene Gruppen unterteilen, 
die auf jeweils verschiedenen Verfahren beruhen. 

25 

Triangulationsverf ahren verwenden eine oder mehrere Linien, 
die entweder von einem Laser oder einer Projektionseinheit 
auf das betreffende Objekt abgebildet werden. Mit einer 
oder mehreren Kameras wird das Objekt anschliefiend unter 
30 einem von der Pro jektionsrichtung geringfiigig abweichenden, 
anderen Blickwinkel aufgenommen, Beruhend auf den vorbe- 
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kannten geometrischen Verhaltnissen erfolgt dann mittels 
trigonometrischer Berechnungen die Ermittlung der dreidi- 
mensionalen Struktur des Objektes. 



5 Nachteilig bei diesen Verfahren ist jedoch, dafl unter Um- 
standen flir jede projizierte Linie ein Bild auszuwerten 
ist, was auflerst zeitaufwendig ist, so da/3 ein derartiges 
System nicht echtzeittauglich ist. 

10 Daruber hinaus ist es insbesondere nachteilig, dafi das je- 
weilige MeBobjekt zu beleuchten ist. Dies stellt zwar unter 
Laborbedingungen kein Problem dar, wird aber in der Praxis 
fast unmoglich, wenn in Situationen wie im StraJ3enverkehr 
oder unter bei Teleskopen oder Mikroskopen vorliegenden er- 
15 schwerten realen Situationen Messungen durchzuf iihren sind. 
Ferner sind bei als Linienlichtpro jektoren verwendeten La- 
sern spezielle Unf allverhutungsvorschrif ten zu beachten, 
damit bei derartigen Meflauf bauten keine Gefahr flir das 
menschliche Auge besteht. 

20 



« 

s 



Bei einem speziellen Triangulationsverf ahren wird ein Farb- 
^ facher auf das betreffende Objekt projiziert. Die von einer 
Kamera auf genommenen Farbwerte konnen dann eindeutig einem 
Objektpunkt zugeordnet werden, wobei die Verschiebung ein- 
2 5 zelner Farbpunkte wiederum als Tief eninf ormation auswertbar 
ist. Obwohl dieses Verfahren in Echtzeit arbeitet, bringt 
dieses Verfahren die einschrankende Forderung mit sich, daJ3 
das Objekt und der Hintergrund weiJ3 sein miissen, so daB das 
Verfahren nicht universell einsetzbar ist. 



30 



Dagegen werten Lauf zeitverf ahren die Laufzeit von Licht, 
Mikrowellen oder eines Schallsignals als einem Meflsignal 
aus, urn Ruckschlusse auf die raumliche Umgebung und die 
Tief eninf ormation zu Ziehen. Dabei wird jeweils eine Raum- 
5 richtung angepeilt und eine Abstandsmessung vorgenommen. 
Beispielsweise beruhen das Prinzip eines Radargerates oder 
eines medizinischen Ultraschallgerates auf derartigen Lauf- 
zeitverf ahren. Lauf zeitverf ahren erfordern jedoch eine auf- 
wendige Signalverarbeitung und sind zudem von den Eigen- 
10 schaften des umgebenden Mediums abhangig, das die Ausbrei- 
^ tungseigenschaf ten des betreffenden MeBsignals beeinfluBt. 



Weiterhin kommen Scharf entief everf ahren zum Einsatz, die 
jedoch nur dann angewendet werden konnen, wenn die Objekt- 
15 gr6J3e und die Offnung eines Objektivs in einem bestimmten 

Verhaltnis zueinander stehen, wie beispielsweise in der Mi- 
kroskopie. Dabei wird durch das optische System nur der 
schmale Bereich der Fokalebene scharf auf einen Bildsensor 
abgebildet. Die Bereiche davor und dahinter sind mehr oder 
20 weniger unfokussiert . Die in der Fokalebene enthaltene 

Bildinf ormation kann mit herkommlichen Bildverarbeitungs- 
1^ verf ahren ausgewertet werden. Eine entsprechende Auswertung 



liefert dann eine Hohenlinie des Objekts. Durch mehrf aches 
Verschieben der Fokalebene und anschlieJlender Auswertung 
25 kann dann eine Hohenlinienkarte des Objekts erstellt wer- 
den, was jedoch entsprechend aufwendig ist. 

Ein weiterer Ansatz, der erst seit wenigen Jahren verfolgt 
wird, beruht in der Auswertung stereoskopischer Bilder zum 
30 Gewinnen von Tief eninf ormationen, ahnlich dem raumlichen 
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Sehen beim Menschen, dessen Nachbildung durch derartige 
Verfahren angestrebt ist. 

Dasi Phanomen des raumlichen Sehens, das nachfolgend kurz in 
Bezug • aiaf den Menschen allgemein erlautert ist, beruht auf 
der Wahrnehmung der sichtbaren Umwelt mittels der beiden 
menschlichen Augen, wobei aufgrund des Augenabstandes die 
beiden wahrgenommenen Bilder (rechtes Auge bzw. Bild, lin- 
kes Auge bzw. Bild) unter leicht unterschiedlichen Blick- 
winkeln wahrgenommen werden. Da die Sehachsen der Augen et- 
was konvergieren, treffen sich ihre Sehachsen an einem 
Punkt der betrachteten Umwelt , wobei von einer Fixierung 
dieses Punktes durch die Augen gesprochen wird. Das Bild 
dieses Punktes f allt jeweils auf eine Sehgrube der Netz- 
haut. Jeder benachbarte Punkt im Gesichtsf eld wird dann auf 
eine S telle der Netzhaut projiziert f die etwas vom Zentrum 
des scharfsten Sehens entfernt liegt. Im allgemeinen ist 
dieser Abstand in beiden Augen unterschiedlich f wobei der 
Abstahd als Funktion der raumlichen Tiefe des betrachteten 
Punktes im Gesichtsf eld relativ zum Fixationspunkt vari- 
iert. Diese Abstandsabweichungen werden als binokulare Dis- 
paritaten bezeichnet f die nachfolgend kurz als "Disparita- 
ten" bezeichnet sind. 

Beim Stereosehen besteht das eigentliche Problem, neben der 
Auswertung der jeweils gegebenen trigonometrischen Gege- 
benheiten darin herauszuf inden, welcher Bildpunkt der rea- 
len Welt bzw. des gesehenen Objekts, der im ersten der ste- 
rebskojpischen Bilder auftritt, welchem Bildpunkt im zweiten 
der stereoskopischen Bilder entspricht. Anders ausgedruckt, 
gilt es in Bezug auf das menschliche Auge herauszuf inden r 



welcher Bildpunkt auf der linken Netzhaut welchem Bildpunkt 
auf der rechten Netzhaut entspricht. 
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Fur das raumliche Sehen bzw. die 3D-Stereowahrnehmung ist 
es dann; erf order lich, aus den Disparitaten auf die dreidi- 
mensioriale Struktur des wahrgenommenen Bildes zuriick zu- 
schiieBen. Anders ausgedriickt, aus ermittelten Disparitaten 
kann auf die in dem wahrgenommenen Bild enthaltenen Tief en- 
iriformatioheh geschlossen werden. 



Bislang verfiigbare Stereoverf ahren sind jedoch auf lei- 
stungsfahige Arbeitsplatzrechner (PC's bzw. sogenannte 
"Workstations") angewiesen, wobei zur Ermittlung der ge- 
wunschten Tief eninf ormatipnen aus einem einzigen Stereo- 
15 biidpaar,- beispielsweise unter Verwendung eines handelsiib- 
lichen Arbeitsplatzrechners (mit einer Taktfrequenz von et- 
wa 90 MHz), eine Zeit im Bereich von etwa 3 bis 5 Minuten 
erforderlich ist. 



20 Versucht man jedoch, derartige Verf ahren in spezielle Re- 
chenwerke auszulagern, iibersteigt der Entwicklungs- und 
Hardwareaufwand sehr schnell wirtschaf tlich vertretbare 
Grenzen. Die Markteinf lihrung derartiger Systeme scheiterte 
bislang also entweder an einer zu geringen Verarbeitungsge- 
25 schwiridigkeit oder 1 einem zu hohen Systempreis. 



Stereoverf ahren sind bestrebt, einander entsprechende Bild- 
punkte zwxschen einem ersten (linken) und zweiteh (rechten) 
Stereobild zu firiden, wobei dann aus der relativen Ver- 
30 schiebung sdlcher Bildpunkte bei bekannter Kamer apo s it ion 
die Entfernung der Punkte berechnet werden kann. 



Unter den vorstehend angesprochenen herkommlichen rech- 
nerimplementierbaren Stereoverf ahren kann man im wesentli- 
chen unterscheiden zwischen sogenannten merkmalsbasierten 
Stereoverf ahren , intensitatsbasierten Stereoverf ahren und 
phaseiibasierten Stereoverf ahren, 

Bei merkmalsbasierten Stereoverf ahren werden vor der Korre- 
sponden z - Suche bestimmte Merkmale ( z . B . Kanten oder Inten- 
sitatsmaxima ) aus den Bilddaten extrahiert, die fiir stabi- 
ler als die rohen Bildintensitaten gehalten werden. Derar- 
tige Verf ahren sind stabil, falls nur wenige stabile Merk- 
male (etwa Ob jektkanten) extrahiert werden. Sie sind auch 
schnell, da Bilder nur an den Orten weiterverarbeitet wer- 
den miissen, an denen Merkmale erfaBt wurden. Dies fiihrt zu 
einer merklichen Datenreduktion. 

Jedoch konnen dadurch Disparitaten nur an den Stellen be- 
rechnet werden, an denen die gewahlten Merkmale erfaBt wur 
den. An alien weiteren Stellen des Bildes muB interpoliert 
werden, was zusatzlich zeitaufwendige Rechenvorgange not- 
wendig macht, Je dichter die Merkmale liegen, desto schwie 
riger wird es, diese einander zuzuordnen. Die endgiiltige 
Zuordnung kann nur anhand komplizierter einzusetzender Ver ; 
f ahren getrof fen werden, was zu einer verminderten Verar- 
beitungsgeschwindigkeit fiihrt. 

Die Driickschrift WO 94/18797 Al beschreibt beispielsweise 
e i n de r ar t i ge s merkmalsbasiertes Verf ahren sowie eine ent- 
sprechende Vorrichtung. 



Intensitatsbasierte Stereoverf ahren arbeiten direkt mit den 
seitens der Stereokameras bzw. der Bildauf nehmer geliefer- 
ten Bildhelligkeiten. Daher sind zur Zuordnung einander 
ehtsprechender Helligkeiten sehr stabile Algorithmen einzu- 
5 setzen, die entsprechend viel Rechenzeit erfordern. Unter 
den intensitatsbasierten Verf ahren kann weiter unterschie- 
den werderi zwischen korrelationsbasierten Verf ahren und 
Verfahren mittels dynamischer Programmierung. 

10 Erstere sind bestrebt, einen kleinen Bildbereich des linken 
S Bildes in dem rechten Bild wiederzuf inden. Dazu werden iib- 
^ licherweise Verfahren zur Maximierung der Korrelation oder 
Minimierung der Differenz eingesetzt. Falls die Bildaus- 
schnitte groB genug gewahlt sind, erzielt man mit diesen 
15 Verfahren stabile und dichte Disparitatskarten, wobei eine 
Echtzeitverarbeitung unter Einsatz spezieller aufwendiger 
Hardware denkbar ist. Die rohen Disparitatskarten enthalten 
typischerweise jedoch nur Verschiebungen im Bereich der Ge- 
nauigkeit eines Bildelements (Pixel), so daB die Auflosung 
20 begrenzt ist. Nur durch Einsatz von Interpolationsverf ahren 

oder aber iterativen Verfahren kann die Genauigkeit der 
^ Disparitaten jedoch auf subpixelgenaue Disparitaten verbes- 
sert Werden. 

25 Derartige korrelationsbasierte Verfahren sind zum Beispiel 
in der Druckschrif t DE 34 25 946 Al sowie dem Artikel "A 
stereovisioh system for a planetary rover: calibration, 
corirelatidn / registration, and fusion" von Z. Zhang, in: 
Machine Vision and Applications, Nr. 10, 1997, S. 27-34 be- 

30 schrieben. 



Bei Verf ahren mittels dynamischer Programmierung wird ver- 
sucht, lokal die Differenz zu minimieren, wobei diese loka- 
le Minimierung dann anhand geeigneter Verf ahren auf das ge- 
samte Bild ausgedehnt wird. Typischerweise berechnen auch 
diese' yerf ahren Disparitaten nur auf ein. Bildelement genau, 
was fur zahlreiche Anwendungen jedoch zu ungehau ist. 

Zusammerif assend ist f estzustellen, daB intensitatsbasierte 
Verf ahren zwar eine dichte Disparitatskarte (einen Dispari- 
tatswert fiir fast jeden Bildpunkt) liefern, die Minimierung 
des FehlermaBes wie bei dem Verf ahren der Minimierung der 
Differenz jedoch zeitaufwendig ist und daher nicht fiir 
Echtzeitanwendungen geeignet ist. Die Reduzierung der er- 
forderlichen Rechenzeit kann durch Einsatz hierarchischer 
Verf ahren reduziert werden, dies jedoch nur durch Einsatz 
komplizierter und nicht parallelisierbarer algorithmischer 
Struktureriy fiir die eine Hardwarelosung zumindest auBerst 
aufwehdig und somit kostenintensiv wird. 

Des weiteren sind phasenbasierte Stereoverf ahren Gegenstand 
aktueller Untersuchungen. Diese Verf ahren extrahieren aus 
den rohen Bilddaten eine lokale Fourier-Phase (meist durch 
Filterung mittels Gabor-Funktionen) , und versuchen dann, 
ehtweder; diese Fourier-Phasenbilder (fiir das rechte bzw. 
linke Bild) (so z.'b. beschrieben von Weng) in Ubereinstim- 
iriung zu t>ringen f oder iiber die Anwendung des Fourier 1 schen- 
Verschiebungstheorems die lokale Verschiebung zu berecheneni 
( so z".^ B. beschrieben von Sanger , Fleet & Jepson ) . Die Ex- 
traktion der lokalen Fourier-Phase entspricht dabei effek- 
tiv eihem lokalen Kontrast-Ausgleich, wodurch viele durch 
Helligkeitsschwankungen verursachte Fehler anderer Stereo- 
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verfahren reduziert werden. Diese phasenbasierten Stereo- 
verfahren arbeiten subpixel-genau und sind auch fiir Echt- 
zeitaiiwendungen implementierbar . Jedoch mlissen zur Erzeu- 
gurig dichter Disparitatskarten hierarchische Verfahren ein- 
5 gesetzt warden, die zur Fehlervermeldung meist spezielle 
Ausriahihesituationen abfangen mussen (vgl. Fleet). Dies 
macht die verwendeten Algorithmen kompliziert und eine 
Hafdwarerealisierung aufwendig und kostenintensiv. 

10 Es ist f olglich Aufgabe der vorliegenden Erf indung, eine 

Bildverarbeitungsvorrichtung anzugeben, mit der stereosko- 
pische Bilder in Echtzeit verarbeitet werden konnen, und 
die mit einfachen Mitteln und geringem Aufwand zu realisie- 
ren ist. Es ist ferner Aufgabe der vorliegenden Erf indung 
15 einen dabei zum Einsatz gelangenden Koharenzdetektor anzu- 
geben . 

Erf indungsgemafi wird diese Aufgabe gelost durch einen Koha- 
renzdetektor mit einer Vielzahl von n Signaleingangen, an 
20 denen ein jeweiliger Eingangssignalwert anliegt, einer er- 
sten Sortiereinrichtung zum Sortieren der n zugefuhrten 
Eingangssignalwerte entsprechend ihrem Wert und zur paral- 
lelen Ausgabe der n sortierten Werte, einer Vielzahl von 
n-1 Subtrahiereinrichtungen zur Subtraktion von jeweils 
25 zwei benachbarten Sortierten Werten, einer zweiten Sor- 
tiereinrichtung zum Sortieren der erhaltenen n-1 Differen- 
zen hinsichtlich ihres Betrages und zur Ausgabe des klein- 
steri bi££ erenzbetrags , einer Auswahleinrichtung, die anhand 
diss ermittelten kleinsten Dif f erenzbetrags das diesem zuge- 
30 horige Weirtepaar der Eingangssignalwerte ausgibt, und 



einer Ausgabeeinrichtung, der das ausgegebene Wertepaar zu- 
geflihrt wird und die dessen Mittelwert ausgibt* 
Alterriatlv wird diese Aufgabe gelost durch einen Koharenz- 
detektor mit einer Vielzahl von n Signaleingangen, an denen 
ein jeweiliger Eingangssignalwert anliegt, einer Fenster- 
Begrerizungseinrichtung zur Ausgabe derjenigen der n Eiri- 
gangs signale, deren Eingangssignalwert innerhalb eines vor- 
eingestellten , endlichen Fenster-Wertebereichs [-x, . . ♦ , 0, 
... , +x] mit m+1 Werten im Abstand von 2x/m liegt f einer 
Rundurigseinrichtung zur Rundung der seitens der Fenster- 
Begrenzungseinrichtung ausgegebenen Werte auf den jeweils 
nachstliegenden der m+i Werte des voreingestellten Fenster- 
Wertebereichs , einer Adressierungs-Ansteuerungseinrichtung, 
und einer Faltungseinrichtung, wobei die Faltungseinrich- 
tung eine der Anzahl von Werten des Fenster-Wertebereichs 
entsprechende Vielzahl von m+1 Signaleingangen hat f und dem 
jeweiligen k-ten Eingang durch die Adressierungs- 
Ansteuerungseinrichtung diejenigen der n Signale zugefuhrt 
werden, deren Wert -x +(k-l)*2x/m betragt, welche somit ein 
entsprechendes k-tes von m+1 Strahlungsemissionselementen 
ansteuern, wobei die so zur Emission gelangte Strahlung von 
einer der Anzahl von Werten des Fenster-Wertebereichs ent- 
sprechenden Vielzahl von m+1 Strahlungsempf angselementen 
erfafit wird, und einer Auswerteeinrichtiing f die die Adresse 
k desjenigen der m-^1 Strahlungsempf angselemente ermittelt f 
das die gr613te Strahlungsintensitat erfaBt f und den Wert k 
dieser Adresse an einem Ausgangsanschlufl abgibt, wobei der 
ausgegebehe Wert das Ergebnis der Faltung der der Faltungs- 
einrichtung zugefiihrten Signale darstellt. 



Ferner wird die Aufgabe gelost durch eine Bildverarbei- 
tungsvorrichtung mit Verschiebe-Einrichtungen zur gegensei- 
tigen Verschiebung von diesen jeweils zugefuhrten Bilddaten 
eines ersten Bildes und eines zu diesem unter eiriem anderen 
Auf nahmewinkel auf genommenen zweiten Bildes, wobei die 
Bilddaten ah den Verschiebe-Einrichtungen jeweils parallel 
abgegrif fen werden und paarweise einer nachf olgenden Dispa- 
ritats-Detektionseinrichtung zugefuhrt werden; wobei die 
DisparitSts-Detektionseinrichtung fiir jedes der zugefuhrten 
Bilddatenpaare mittels eines jeweiligen Disparitats- 
Elementes einen raumliche Tief eninf ormationen fur das je- 
weilige Bilddatenpaar darstellenden Disparitatswert ermit- 
telt f und die ermittelten Disparitatswerte einer Koharenz- 
Detektionseinrichtung zufiihrt, wobei der ausgegebene Dispa- 
ritatswert auf jede Verschiebung der Bilddaten hin ermit- 
telt wird und die zugehorige raumliche Tief eninf ormation 
darstellt . 

Durch diesen erf indungsgemaBen Aufbau konnen die zugefiihr- 
ten Bildsignale mit- der Geschwindigkeit verarbeitet werden, 
wie sie von Bildauf nehmern geliefert werden. Somit ist die 
Bilddatenverarbeitung zur Gewinnung von Tief eninf ormationen 
mit geringem Auf wand und in Echtzeit moglich. 

Diese hohe Verarbeitungsgeschwindigkeit (Echtzeit) des Sy- 
stems ist ein wesentlicher Vorteil gegeniiber dem Stand der 
Technik. Mit einer Bildrate von beispielsweise 25 Bildern 
pro S^kunde, die dem System seitens der Bildauf riehmer zuge- 
fuhrt werden und von diesem in Echtzeit verarbeitet werden, 
ist das System bzw. das mit diesem implementierte Verfahren 
den aus dem Stand der Technik bekannten Anordnungen bzw. 
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Verfahren zumindest urn einen Geschwindigkeitsf aktor von 100 
uberlegen. 

Weiterhin ist das zu messende Volumen des MeBobjekts gegen- 
5 iiber bekanriten Systemen nicht mehr begrenzt. Insbesondere 
ist der MeBbereich der erf indungsgemcLBen Bildverarbeitungs- 
vofrichtung nur durch die Begrenzung der verwendeten ab- 
bildenden Optik bestimmt, und alle optischen Vorsatzgerate 
wie Mikroskope r Tele- oder Weitwinkelobjektive konnen in 
10 Verbiridiing mit den Bildauf nehmern eingesetzt werden, sofern 
sie an diese angepaBt sind. Insbesondere ist es mit dem er- 
f indungsgelmaBen System moglich, ein MeBobjekt ohne Markie- 
rungshilfen auszuwerten, die bei Systemen gemaB dem Stand 
der Technik haufig erforderlich sind. 
15 

Durch die Moglichkeit, ein MeBobjekt ohne Markierungshilf en 
auszuwerten entfallt weiterhin die Notwendigkeit eine dafur 
notwendige Pro jektionseinheit vorzusehen. Folglich wird die 
erf indungsgemaBe Vorrichtung kompakter und leichter, wobei 
20 sich die Handhabung erleichtert und sich vielseitigere Ein- 
satzmoglichkeiten ergeben. 

Zudem entfallt bei der erf indungsgemaBen Vorrichtung auch 
eine Vorbehandlung des MeBobjekts selbst, beispielsweise 
25 ein Abdecken des MeBobjekts mit hellem Puder zur Beseiti- 

guhg von Spiegelurigen und Glanzlichtern auf der Objektober- 
flache vor der Messung und Beseitigung des Puders nach er- 
folgter Messuhg. Duirch die Einsparung cier art iger Arbeit s- 
gange arbeitet die er f indungsgemaBe Vorrichtung zeit- und 
30 kostengiinstiger • 



Zudem ist es mit der erf indungsgemaBen Vorrichtung vorteil- 
hafterweise moglich, beliebige Bildsignalquellen anzu- 
schilieBen. Das heiBt, die erf indungsgemaBe Vorrichtung ist 
nicht auf den Bereich sichtbaren Lichts beschrankt, sondern 
die Auswertung kann beispielsweise auch fiir Bildsignale im 
Inf rarotbiereich erfolgen. 

Mit den erf indungsgemaBen Koharenzdetektoren 1st es insbe- 
sondere ihoglich, aus einer Vielzahl von Eingangssignalen 
die j en i gen Signale in Echtzeit zu ermitteln, deren Werte 
einander am ahnlichsten sind, und diesen "ahnlichsten" Wert 
dann weiter zu verarbeiten. 

Vorteilhafte Weiterbildungen der Erfindung sind in den Un- 
teranspruchen angegeben . 

Die vorliegende Erfindung ist nachstehend anhand von Aus- 
f uhrungsbeispielen mit Bezug auf die beigef iigte Zeichnung 
naher beschr ieben • Dabei zeigen: 

Fig, 1A ein allgemeines Blockschaltbild des erf indungsgema- 
Ben Systems; 

Fig. IB eine schematische Darstellung einer stereoskopi- 
schen Bilderf assung zur Erlauterung und Begrif f sdef inition; 

Fig. 2 eiri Blockschaltbild, das Bildsignal-Verschiebe- 
einr ichtungen und Disparitatsbestimmungseinrichtungen be- 
t r e f f eride ' E in z e 1 he it en zeigt; 

Fig. 3 A ein Funktionsschaltbild eines einzelnen gradienten- 
basierten bzw. dif f erentiellen Disparitatselements ; 



Fig. 3B ein Blockschaltbild zur Hardwarerealisierung des 
gemSB Fig. 3A funktional beschriebenen einzelnen Dispari- 
tatselements. 

Fig. 4A ein Blockschaltbild eines ersten Ausf iihrungsbei- 
spiels eines Koharenzdetektors; 

Fig . 4B eine schematische Darstellung einer Ausf uhrungsva- 
riarite eines Koharenzdetektors; 

Fig. 4C eine zweites Ausf uhrungsbeispiel eines Koharenzde- 
tektors, dessen Funktionsweise auf dem Faltungsprinzip be- 
ruht ; 

Fig. 4D Einzelheiten der Realisierung der Faltungseinrich- 
tiing bei dem in Fig. 4C dargestellten Koharenzdetektor; 

Fig. 5 ein Diagramm, das flir alle Bildelemente einer Bild- 
zeile die von verschiedenen Disparitatselementen ermittel- 
ten Disparitaten darstellt, aus denen dann mittels eines 
Koharenzdetektors in Echtzeit die tatsachliche bzw. wahre 
Disparitat im Verlauf der Bildzeile bestimmt wird. 

Fig. 6 ein Beispiel zweier als Bildsignalstrom zugefiihrter 
Bilder eines ersten und zweiten (bzw. linken und rechten) 
Bildauf nehmers , sowie eine Darstellung der mit der er fin- 
dungs gemaJ3en Vorrichtung ermittelten Tief eninf ormation in 
Form einer sogenannten Disparitatskarte . 

Fig. 1A stellt die erf indungsgemafle stereoskopische Bild- 
verarbeitungsvorrichtung zur Erf as sung dreidimensionaler 
Objekte in Echtzeit schematisch als Blockschaltbild dar. 

Die Bildverarbeitungsvorrichtung weist einen Sensorkopf 
auf , der zwei Bildauf nehmer umfaflt, einen Bildauf nehmer 
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CCDL fur. das (erste) linke Bild und einen Bildauf nehmer 
CCDR fur das (zweite) rechte Bild, Eines dieser Bilder wird 
dabei fiir die nachfolgende Verarbeitung als Referenzbild 
definiert. Das heifit, daJ3 ermittelte Disparitatsergebnisse 
5 zur Erstellung einer Disparitatskarte den Bilddaten des Re- 
ferehzbildes zugeordnet werden. 

Bei den Bildauf nehmern kann es sich beispielsweise urn ein 
Kamerapaar mit CCD-Bildauf nehmern handeln, die in einem 
10 vorbestimmten bekannten Abstand d voneinander angeordnet 
, . sind und daher leicht unterschiedliche Bilder des selben 
S Objektes aufnehmen (vgl. Fig. IB und Fig. 6). Insbesondere 
konnen die Bildauf nehmer Bewegtbilder aufnehmen und diese 
der Vorrichtung zur nachf olgenden Echtzeitverarbeitung zu- 
15 flihren. Mittels einer Bildauf nehmer-Synchronisationsein- 
richtung SYNC werden die Aufnahmen der Bildauf nehmerein- 
richtungen CCDL, CCDR zeitlich synchronisiert , so daB das 
linke und das rechte Bild synchron zueinander aufgenommen 
werden . 

20 

Je nach Entfernung des Objekts von den Bildauf nehmern bzw. 

^ Kameras weisen die auf genommenen Bildpunkte leichte - als 
Disparitaten bezeichnete - Verschiebungen auf. Das heifit/ 
dafl das selbe Objekt an verschiedenen Stellen im ersten 

25 bzw. zweiten Bild erscheint . 

Mittels einer nachf olgend als Disparitatsdetektor DD be- 
zeichneteh' Einrichtung und einer als Disparitats-Koharenz^ 
detektor KD bezeichneten Einrichtung (die beide nachf olgend 
30 noch ausfiihrlich beschrieben sind) konnen die tatsachlichen 
Disparitaten bzw. Verschiebungen ermittelt werden und dann 



durch trigonometrische Berechnungen unter Berucksichtigung 
des bekannten Abstandes d zwischen den Bildauf nehmern CCDL, 
CCDR die raumliche Entfernung des jeweiligen Objekts be- 
rechnet werden, somit die gesuchten Tief eninf orniationen er- 
5 ha It en werden . 

Die so aus zwei Stereo-Bewegtbildern berechnete Tiefenin- 
formation kann quasi verzogerungsf rei in Echtzeit als Vi- 
deosigrial ausgegeben werden und als dritte Dimension (z. B. 

10 drittes Bild) als Grauwertbild oder Farbbild dargestellt 

werden, Dabei ist die Echtzeitverarbeitung des Systems ins- 

^> besondere durch die serielle Verarbeitung der durch die 
Bildauf nehmer CCDL, CCDR gelieferten Bilddaten bedingt. 

15 Mit der Bildauf nehmer-Synchronisationseinrichtung SYNC ver- 
bunden ist ein Taktgenerator CLK, der Taktsignale zur 
Steuerung und Synchronisation weiterer Komponenten des Sy- 
stems erzeugt. 



20 Die auf genommenen Bildsignale werden von den Bildauf nehmern 
CCDL f CCDR diesen jeweils zugeordneten Vorverarbeitungsein- 
\ richtungen WL, WR zugefuhrt. In diesen Vorverarbeitungs- 
eiririchtungen WL, WR erfolgt ein Helligkeitsausgleich der 
beiden Stereobilder vor der nachf olgenden Verarbeitung. 
25 Diese Helligkeitsvorverarbeitung ist vorteilhaft f da auf- 

grund leicht unter schiedlicher Bildauf nahmewinkel der Bild- 
auf nehmer CCDL, CCDR sogenannte Glanzlichter und Reflexio- 
nen an 1 , (spiegelnden) Oberf lachen der auf genommen Objekte 
auf treten konnen f die bei der nachf olgenden Verarbeitung 
30 der Bilddaten zur Erfassung der Disparitaten zu Fehlern 
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flihren konnen, so dafl die Disparitatswerte instabil werden 
konhteh . 



Fur den Fall der Verarbeitung von Farbbildern kann im Rah- 
5 men der Vorverarbeitung durch die Vorverarbeitungsein- 

richturigen eine Zerlegung der jeweiligen (erstein und zwei- 
ten) Farbilddaten in jeweilige Farbbildkomponenten (z. B. 
in die PrimSrfarben Rot, Griin, Blau (RGB) oder aber in die 
Luminariz- und die beiden Farbdif f erenzkomponenten) erfol- 
10 gen. Zudem ist es auch moglich, die ersten und zweiten 
. Bilddaten unterschiedlichen Vorverarbeitungen zu unter- 
^ Ziehen. 

Nach erfolgter Vorverarbeitung der Bilddaten seitens der 

15 Vorverarbeitungseinrichtungen WL, WR werden die Bilddaten 
des ersten und zweiten (bzw. linken und rechten) Bildes je- 
weils Einrichtungen VSEL, VSER zur gegenseitigen Verschie- 
bung der linken und rechten Bilddaten in Bezug aufeinander 
zugefuhrt. Genauer heiBt das f daB jeweils zwei Verschiebe- 

20 einrichtungen VSEL, VSER eine Verschiebeeinheit bilden f wo- 
bei dabei je ein Verschiebestrom von Bilddaten nach 

^ "rechts" und nach "links" pro Verschiebeeinheit vorliegt. 

Eine Verschiebeeinheit ist dabei je nach Anwendungsf all fiir 
jede Art von Bilddaten vorzusehen. Das heiJ3t f im Fall einer 

25 Vorverarbeitung durch Zerlegung in die Primarfarben R, G 

lihd B koririeh drei Verschiebeeinheiten vorgesehen sein f und 
zwar je eine fiir jede Primarf arbe . 

Die pisparitaten derart zueinander verschobener Bilddaten 
30 werden darin fiir jeweilige Bilddatenpaare durch den Dispari- 
tatsdetektor DD ermittelt und ein jeweiliger Satz erhalte- 



ner Disparitatswerte fur die Bilddatenpaare wird durch den 
Disparitats-Koharenzdetektor KD ausgewertet. 

Diese Koharenzdetektion beziiglich der erhaltenen Disparita- 
ten Seruht auf der Auswahl bzw. Ermittlung desjenigen der 
erhaltenen Disparitatswerte , der annahernd identisch mit 
zumindest einem weiteren der erhaltenen Disparitatswerte 
ist. Anders ausgedruckt wird der Disparitatswert als der 
eigeintliche bzw. wahre Disparitatswert ermittelt, der in 
etwa identisch zu zumindest einem weiteren Disparitatswert 
(d.h. in einem vorbestimmten Intervall urn diesen liegt) 
oder identisch mit zumindest einem weiteren Disparitatswert 
ist, Alternativ kann derjenige Disparitatswert als eigent- 
licher Disparitatswert ermittelt werden, der das Faltungs;- 
ergebnis der erhaltenen Disparitatswerte darstellt. Fig. 5 
veranschaulicht dieses Prinzipien anhand von Daten von bei- 
spielsweise sieben Disparitatselementen eines Disparitats- 
detektors. 

Die seitens des Disparitats-Koharenzdetektors KD derart er- 
mittelten eigentlichen Disparitatswerte werden dann von 
diesem an eine Einrichtung NB zur Bilddatennachbearbeitung 
aiisgegeben. Diese Einrichtung NB bereitet die Disparitats- 
werte so auf, dai3 diese uber einen AusgangsanschluB DV ei- 
ner wahlweise anzuschlieBenden Ausgabevorrichtung wie zum 
.Beispiel eiher (nicht dargestellten) Anzeigeeinrichtung zu- 
gefuhrt werden konnen und von dieser als Grauwert- oder 
Farbbild wiedergegeben werden. Zur besseren Darstellbarkeit 
der Disparitatswerte erfolgt im Rahmen der Bilddatennach- 
bearbeituhg auch eine Beseitigung auftretender Randef fekte 
sowie einie virtuelle Begrenzung. 
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In der Figur selbst nicht dargestellt ist eine externe Be- 
dierieinheit zur Konf iguration des Systems, die durch einen 
Arbeitsplatzrechner mit geeigneter Schnittstelle zu dem Sy- 
5 stem implement iert sein kann. 

Fig. IB zeigt erlauternd schematisch das Prinzip einer ste- 
reoskbpischen Bilderf assung. Mit CCDL, CCDR sind die in ei- 
nem Abstand d voneinander angeordneten Bildauf nehmer be- 
lt) zbichnet, auf deren jeweiligem lichtempf indlichen Erfas- 

sungsabschnitt ein abzubildendes Objekt bzw. abzubildender 
Punkt PI, P2 liber ein vorgeschaltetes Objektiv abgebildet 
wird. Der Abstand d ist dabei als der Abstand zwischen den 
optischen Achsen der Objektive definiert, die als vertikal 
15 verlaufende strichpunktierte Linien eingezeichnet sind. Der 
Punkt P2 ist dabei in Richtung der optischen Achse weiter 
entfernt als der Punkt Pi. 

Wie der schematischen Darstellung zu entnehmen ist, sind 
20 die Abbildungen der Punkte Pi, P2 auf den Erf assungsab- 

schnitten der Bildauf nehmer in Abhangigkeit der Entfernung 
unterschiedlich. Unter der Annahme, daJ3 die Bildauf nehmer 
jeweils aus einer gewissen Anzahl von Bildelementen beste- 
hen, ist der Punkt PI beim Bildauf nehmer CCDL an einem 
25 Bildelement j abgebildet, wahrend der Punkt PI beim Bild- 
auf n^hmdr CCDR an einem Bildelement j+y abgebildet ist. Die 
Biidelemerite j und j+y entsprechen sich somit hinsichtlich 
ihres Irif ormatiohsgehalts . Auf grund dieser Verschiebung 
(Disparitat) y kann aus den vorliegenden trigonometrischen 
30 Verhaltnissen auf die Entfernung des Punktes PI geschlossen 
werden. Die Entfernung des Punktes PI sei nun als Bezugs- 
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entferming definiert, was als GrundmeBbereich der Vorrich- 
tung angesehen werden kann. Dann liegt der Punkt PI in ei- 
her als Fixationsebene definierten Ref erenzebene , fiir die 
eiine (relative) Disparitat von Null angenommen sei. Anders 
5 ausgedriickt, ist die ermittelte Disparitat auf die Fixati- 
onsebene bezogen. Durch die geeignete Auswahl einer Vorver- 
schiebung ( z . B . yl, oder y2 ) zwischen den auszuwertenden 
ersten und zweiten Bilddaten kann somit die Fixationsebene 
beistimmt und der Grundmei3bereich festgelegt werden. Das 
10 tieifit, bevor die Bilddaten des ersten und zweiten Bildes 
den Verschiebe-Einrichtunge VSEL, VSER zugefiihrt werden, 
werden sie bereits in Bezug aufeinander urn den Vorverschie- 
bungsbetrag (z.B. y2) verschoben. 

15 Die Fixationsebene in einem Intervall von Disparitatswerten 
[-x 0,..., +x] umgebend liegt der sogenannte Fusions- 

bereich. Der Fusionsbereich entspricht dabei einem "Schar- 
f entief ebereich" ♦ Die (relativen) Disparitatswerte im Fusi- 
onsbereich werden aufgrund der seitens der Verschiebe- 

20 Einrichtunge VSEL, VSER zusatzlich bedingten Verschiebung 

der Bilddaten ermittelt. Je groBer die zusatzliche Ver- 
|| schiebung ist, die ausgewertet wird, desto groBer ist der 
Fusionsbereich und somit der "Scharf entief ebereich" urn die 
Fixationsebene. Die zusStzlich erreichbare Verschiebung 

25 steht dabei sowohl 1 in Zusammenhang mit der Anzahl n von 
nachstehehd beschriebenen Verschiebe-Elementen der Ver- 
schiebe-Einrichtungen , als auch der Art deren Ansteuerung. 

Fig. 2 der Zeichnung zeigt nunmehr Einzelheiten der Bildda- 
30 ten-Verschiebeeinrichtung VSEL flir Bilddaten des (ersten) 

linken Bildes, der Bilddaten-Verschiebeeinrichtung VSER fur 



Bilddaten des (zweiten) rechten Bildes, die zusammen eine 
Verschiebeeinheit bilden, und des Disparitatsdetektors DD 
als Disparitatsbestimmungseinrichtung. Dabei sind die Kom- 
ponehtrien gema!3 Fig. 2 nicht auf eine bestimmte Implemen- 
tierung in analoger oder digitaler Technik festgelegt und 
ihre Beschreibung erf olgt zunachst in allgemeiner Form, un 
abhangig von der tatsachlichen Reaiisierungsf orm. 

Die von den jeweiligen Vorverarbeitungseinrichtungen WL, 
VVR ausgegebenen Bilddaten werden den Bilddaten-Verschiebe 
einrichtungen VSEL , VSER zugeflihrt. Diese Zufuhr erf olgt , 
wie vorstehend bereits erwahnt, mit einer Vorverschiebung 
eritsprechend dem gewunschten GrundmeBbereich* Im gezeigten 
Fall ist dabei zur Vereinf achung der Darstellung nur eine 
Verschiebeeinheit fur eine Art von Bilddaten, beispielswei 
se fiir eine der Primarfarben R, G, B dargestellt. 

Dabei werden die jeweiligen Bilddaten diesen Verschiebe- 
einrichtungen der Verschiebeeinheit jeweils seriell urid 
synchron zueinander zugefuhrt. Jede der Verschiebeein- 
richtungen VSEL, VSER besteht aus einer Vielzahl von Ver- 

schiebeelementen AX L1 bis AX Ln bzw. AX Ri bis AX,^. Diese Ele- 
mente bewirken jeweils eine zusatzliche Verschiebung der 
zugef lihrten Bildelemente um eine kleine Strecke in x- 
Richtung^ d.h, in Richtung der Hauptabtastrichtung bei zei 
lenweise abtastenden Bildauf nehmern. (Fig. 2 zeigt einen 
Fall fiir n=7. ) 

Beginnend mit dem jeweils ersten (jedoch unter Berucksich- 
tigung der Vorverschiebung) Bildelement der seriellen Bild 
datenstrome des linken bzw. rechten Bildes ( z .B. Bildele- 
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ment der oberen linken Ecke des jeweiligen Bildes) werden 
die Bildelemente (Pixel) gegeneinander verschoben. Die Aus- 
wertuhg der Bildelemente hinsichtlich der vorhandenen Dis- 
paxitat erfolgt dann jeweils paarweise. Genauer erfolgt ei- 
5 ne paarweise Auswertung hinsichtlich der Disparitat beru- 

hend auf den verschobenen Bilddaten fiir Paare (AX L1 Ax^), 

(AX L2 , AX^), . •./(AX Ln . 1/ AX R2 ), <AX Ln , AX R1 ). Der Betrag AX der 
Verschiebung kann auf einen Wert eingestellt werden , der 
der LSnge eines Bildelements entspricht. Falls eine hohere 
10 Zuverlassigkeit ( "Stabilitat" des implementierten Verfah- 
rens ) , mithin Genauigkeit gewlinscht ist f kann diese Ver- 
schiebung jedoch auch auf einen Wert eingestellt werden,. 
der kleiner als die Lange eines Bildelements ist f bei- 
spielsweise auf die halbe Lange eines Bildelements 
15 (Pixels). Dies bedingt jedoch eine hohere Anzahl von nach- 
folgend beschriebenen Elementen des Disparitats-Detektors, 
wenn der Fusionsbereich konstant bleiben soil. 

Iitl Fall von als Analogschaltung realisierten Verschiebeein- 
20 richtungen VSEL, VSER bestehen diese jeweils aus einer Ket- 
te bzw. Kaskade von Lauf zeitgliedern ( Verzogerungsgliedern) 
mit entsprechenden Signalabgrif f en . Der Verschiebungsbetrag 
in x-Richtung entspricht dann der Laufzeit und kann bild- 
elementweise oder in Bruchteilen von Bildelementen gewahlt 
25 sein. 

Im Fall von als Digitalschaltung realisierten Verschiebe- 
einrichtungen VSEL, VSER besteht die jeweilige Einheit aus 
in Reihe geschalteten Schieberegistern, denen ein ent- 
30 sprechendes Taktsignal von dem Taktgenerator CLK (ggfs. 

iiber einen zwischengeschalteten (nicht dargestellten ) Fre- 
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quenzteiler) zuzufuhren ist. Dann ist es jedoch zuvor er- 
f order lich, die analogen Bilddaten mittels eines Ana- 
log/Digital-Wandlers in digitale Bilddaten umzuwandeln. Ein 
derartiger Analog/Digital-Wandler kann vor oder nach der 
( 5 j eweiiigen Vorverarbeitungseinr ichtung WL , WR im Signal- 
verlauf vorgesehen sein, je nachdem, ob die Vorverarbeitung 
noch analog oder schon digital erf olgt . 

Im Fall der digitalen Schieberegister erf olgt die Ansteue- 

10 rung der Verschiebeelemente AX Li , AX Ri der jeweiligen Ver- 
(•iX-v schiebeeinrichtung zur bildelementweisen Verschiebung je- 
' .^1 ■ * weils entsprechend dem Takt. mit dem die digitalen Bildda- 
ten zugefuhrt werden. Ist Subpixel-Genauigkeit erforder- 
lich, so sind die bereits digitalisierten Daten einem spe- 
15 zielleh Filter zuzufuhren. Zum Beispiel wird eine einem 

halben Bildelement entsprechende Verschiebung erreicht, in- 
dent man zwei auf einanderf olgende Bildelemente mittels eines 
entsprechenden Filters einer Mittelwertbildung unterzieht 
urid den erhaltenen Wert als Signalwert des Bildelements an 
2 0 der urn ein halbes Bildelement verschobenen Position an- 

nimmt. Eine derartige Filterung entspricht dann iiri wesent- 
lichen einer Ditherung benachbarter Bildelemente. 



Die Ansteuerung kann dabei fiir beide Verschiebeeinrichtun- 
25 gen vsel, VSER gleichzeitig erf olgen, oder aber auch gegen- 
phasig erf olgen, je nachdem, welcher zusatzliche Verschie- 
bungsbereich ( "Scharf entief ebereich" ) gewunscht ist . Auf 
das ctergestellte Beispiel von Fig. 2 mit n=7 bezogen heifit 
das> daB bei gleichzeitiger Ansteuerung jeweils Bilddaten- 
30 paare vergleichend ausgewertet werden, die um +/-6, +/-4 f 
+/-2, uiid 0 gegeneinander verschoben sind. Bei gegenphasi- 
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ger Ansteuerung sind im gleichen Beispiel Verschiebungen um 
-7, -5, -3, +5 als auch -6, -4-, -2, . . . . , +6 moglich* 

Aufgrund der groBeren zusatzlichen Verschiebung ist dabei 
ein erweiterter Scharf entief ebereich zu erwarten. Obwohl 
5 Fig. 2 ein Beipsiel fur n=7 darstellt, ist die Erfindung 
nicht auf ungerade Werte fur n beschrankt, sondern es kann 
auch eirie geradzahlige Anzahl von Verschiebeelementen ein- 
gesetzt werden. 

10 Die vorstehend genannten Bilddatenpaare (AX Llf AX^), (AX L2 

^/ AX^), . . . , (AX Ln _ 1# AX R2 ) , ( AX Ln# AX R1 ) werden dann jeweils ei- 
nem von n Elementen EST lf EST n des Disparitatsdetek- 

tors DD zur Auswertung zugefiihrt, um die entsprechende Dis- 
paritat fiir das jeweilige Bilddatenpaar zu ermitteln. Es 
15 ist zu beachten, dafl aufgrund der vereinf achten Darstellung 
gemafi Fig. 2 nur ein Disparitatsdetektor DD dargestellt 
ist. Sind jedoch mehrere Verschiebeeinheiten (z.B. jeweils 
fiir R-, G-, B- Bilddaten vorhanden), so ist jeder der Ver- 
schiebeeinheiten ein entsprechender Disparitatsdetektor zu- 
20 zuordnen. 

• . Fiir jeweilige Diparitats-Elemente ESTi eines Disparitatsde- 

tektor s DD sind verschiedene Arten denkbar. Beispielsweise 
kanri die Auswertung gradientenbasiert, tensorbasiert, ener- 
:;\/\//.— -25 giebasiert pder aber gemafi dem Reichard' schen Beugungsde- 
;; tektions-Modell erfolgen. Diese Auswerteprinzipien sind in 

der FaichUteratur hinreichend beschrieben. (so z. B. bei 
BarrohV Fleet & Jepson, Adelson & Berger) und es wird hier 
nicht mehr ausfuhrlich darauf eingegangen. 
30 ' ' 
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Die von den Disparitats-Elementen EST A (1 £ i £ n) ausgege- 
benen Disparitatswerte werden nachfolgend dem Koharenzde- 
tektor KD zugefiihrt, der aus den zugefiihrten Werten den ei- 
gentlichen Disparitatswert bestimmt. Insbesondere im Fall 
mehrerer bisparitatsdetektoren DD werden alle Ausgange der 
jeweiligeri Disparitatsdetektoren einem nachf olgenden Koha- 
renzdetektor KD zugefiihrt. 



Fig. 3A zeigt nunmehr ausflihrlich ein Funktionsschaltbild 
10 eines Disparitats-Elements EST i/ bei dem die Auswertung auf 
dem gradientenbasierten Ansatz beruht. 

Dabei werden dem jeweiligen Disparitats-Element ESTi je- 

weils Bilddaten AX Li , AX^^ (1 £ i ,£ n) zugefiihrt. Diese 
15 werden darin einer eine bildelementweise (pixelweise) Addi- 
tion durchfuhrenden Einheit (Bezugszeichen " + ") zugefiihrt, 
dann einer ihit dem Bezugszeichen "1/2" bezeichneten Multi- 
plikationseinheit zugefiihrt, die eine Multiplikation der 
addierteh Pixelwerte mit einem Faktor 1/2 durchfuhrt, so 
20 dafi hinsichtlich des jeweils zugefiihrten Bilddatenpaares 
eine Mittelwertbildung erfolgt. Darauf f olgend durchlaufen 
die derart verarbeiteten Bilddaten ein Ableitungsf ilter 
DIFF. Ein einf aches Ableitungsf ilter DIFF kann beispiels- 
Weise Filterkoef f izienten haben, wie sie in der nachfolgen- 
25 den Tabelle 1 angegeben sind. 



Pixelort 


X-1 


X 


x+1 


Filterwert 


Kl = 
+0.5 


K2 = 
0.0 


K3 = 
-0.5 



TaJbelle 1 : Filterkoef f izienten Ableitungsf ilter DIFF 
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Die von diesem Filter ausgegebenen Datenwerte werden einer- 
seits in einer mit dem Bezugszeichen "x 2 " bezeichneten Ein- 
heit einer pixelweisen Quadrierung unterzogen, wobei die 
5 derart erhaltenen Werte dann einem Mittelungsf ilter AVE zu- 
gef uhrt werden . 

Ahdererseits werden die von dem Filter DIFF ausgegebenen 
Daten einer Multiplikationseinheit (Bezugszeichen "*" ) zu- 
10 gefuhrt , wo sie pixelweise mit der mittels einer Subtrakti- 
: V V onseinheit (Bezugszeichen "-") bildelementweise erhaltenen 

Dxfferenz der Daten AX Li , AX^+Li multipliziert werden* Die 
derart erhaltenen Werte, die am Ausgang der Multiplikati- 
onseinheit zur Verfugung stehen, werden gleichfalls einem 
15 weiteren Mittelungsf ilter AVE zugefuhrt. 



Fur beide Mittelungsf ilter AVE konnen Filterkoef f izienten 
gewahlt werden, wie sie z. B. in der folgenden Tabelle 2 
wiedergegeben sind . 



Pixelort 


x-2 


x-1 


X 


x+1 


x+2 


Filterwert 


Jl = 
+0.0625 

1 


J2 = 
+0.25 


J3 = 
+0.375 


J4 = 
+0.25 


J5 = 
+0.0625 


Tabelle 2: Filterkoef J 


Eizienten Mitte; 


Lungsf i] 


Lter AVE 
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Die ah den Ausgangen beider Mittelungsf ilter erhaltenen Da- 
tenwerte werden schliefilich einer Divisionseinheit (Bezugs- 
zeichen "4-") zugefiihrt, die an ihrem Ausgang den jeweils 



ermittelten Disparitatswert als Ausgangssignal des jeweili- 
gen Disparitatselements EST ± ausgibt. 

Da fiir beide eingesetzten Filter lediglich Filterungen in 
x-Richtung erf order lich sind, was einer Filterung im seri- 
ellen Bilddatenverlauf entspricht, kann ein derartiges Dis- 
paritats-Element vollstandig in analoger Technik realisiert 
wefden. Eine digitale Realisierung ist jedoch ebenfalls 
moglich. 

Die derart ermittelten Disparitatswerte, die an den Ausgan- 
gen der Disparitatselemente EST ± ausgegeben werden f werden 
dann dem Disparitats-Koharenzdetektor KD zugefuhrt. 

Fig. 3B zeigt ein Blockschaltbild zur Hardwarerealisierung 
eines vorstehend mit Bezug auf Fig. 3A funktional beschrie- 
benen einzelnen Disparitatselements EST^ Ein Disparitatse- 
lemeht EST besteht dabei aus zur Synchronisation der gesam- 
ten Schaltung mit einem von dem Taktgenerator CLK abgelei- 
teten Taktsignal TAKT getakteten Schieberegistern SRI bis 
SR4 zur Zwischenspeicherung einzelner Bildelemente, sowie 
arithmetischen Logikschaltungen (Mittelwertbildner 1: 

"Z/2" , Subtrahierer 2: , Multiplikationseinrichtungen 
4, 5: MUL, Summierer 3, 6, It "Z" , Divisionseinrichtung 8: 
DIV) . Dabei ist das in Fig. 3A mit DIFF bezeichnete Filter 
nunmfehr durch das Schieberegister SRI, einen Koef f izienten- 
multiplikationsteil K (Kl, K2, K3) und den Summierer 3 rea- 
lisiert . Weiterhin sind die in Fig. 3A mit AVE bezeichneten 
Filter nunmehr durch das Schieberegister SR3, einen Koeffi- 
zientenmultiplikationsteil JA (Koef f izienten Jl, J2, J3 , 
J4, J5) und den Summierer 6, bzw. durch das Schieberegistex 



SR4> einen Koef f izientenmultiplikationsteil JB (Koeffizien- 
ten Jl, J2, J3, J4, J5) und den Sununierer 7 realisiert. Die 
Disparitat wird am Ausgang der Divisionseinrichtung 8 aus- 
gegeben. Die im Blockschaltbild wiedergegebene Schaltungs- 
anordnung verwirklicht dabei vollstandig die in Verbindung 
mit dem Funktionsschaltbild gemaB Fig. 3A angegebene und 
beschriebene Arbeits- und Wirkungsweise eines Disparitatse- 
lements EST. 

Fig. 4A zeigt ein Blockschaltbild fur einen Koharenzdetek- 
tor bzw. Disparitat s-Koharenzdetektor KD gemaB einem ersten 
Ausfiihrungsbeispiel # wobei als Beispiel ein Koharenz- 
detektor KD mit nur vier Eingangen dargestellt ist. Fur den 
in Fig. 2 dargestellten Fall muBte die Schaltung entspre- 
chend auf sieben Eingange bzw. allgemein auf n Eingange er- 
weitert werden. Falls mehrere (z) Verschiebeeinheiten mit 
jeweils zugeordneten Disparitatsdetektoren DD mit je n EST 
Elementen vorgesehen sind, ware die Schaltung auf z*n Ein- 
gange zu erweitern. 

Die von den (vier nicht dargestellten) EST Elementen EST ± 
zugefuhrteri und an den Eingangen El bis E4 anliegenden Da- 
tenwerte der ermittelten Disparitaten werden einer Sor- 
tiereinrichtung SI zugefuhrt, welche die Datenwerte ent- 
sprechend der GroBe der Werte sortiert an den Ausgangen A 
bis D auisgibt. Im dargestellten Fall liegt am Ausgang A der, 
kleinste Wert an, am Ausgang D der groBte Wert. Derartige 
SortieVeiriricht konheri mit aus Vergleichern 

( Komparatoren ) und Multiplexern bestehenden Logikgattern 
realisiert werden und sind hier nicht im einzelnen erlau- 
tert. Jeder der Ausgange A bis D wird einem Multiplexer 



MUX1 zugefiihrt, wahrend weiterhin je zwei der Ausgange ei- 
nem Subtrahierer ("-" ) zugefiihrt werden, urn die Differenzen 
B-A, C-B und D-C der entsprechenden Werte zu ermitteln. Die 
Differenzen werden einer weiteren Sortiereinrichtung S2 zu- 
gefiihrt, die entsprechend der ersten Einrichtung SI die 
Werte der Differenzen betragsmaBig sortiert am Ausgang aus- 
gibt. Dabei ist im vorliegenden Fall nur das kleinste Er- 
gebhis (am Ausgang "«" ) weiter zu verarbeiten, welches das 
Wertepaar der Disparitaten darstellt, die einander am 
"beriachbartsten" sind, also die geringste Abweichung von- 
einarider aufweisen. Das Ergebnis der Sortiereinrichtung S2, 
also der Wert am Ausgang "«" wird dann einer auf Gleich- 
heit uberpriif enden Einrichtung " = " zugefiihrt, die das er- 
mittelte Ergebnis mit den dem Sortierer S2 zugefiihrten Dif- 
ferenzen vergleicht, urn zu ermitteln, welcher der Eingangs- 
werte das Ergebnis darstellt. Diese Variante stellt dabei 
die schaltungstechnisch einfachere Variante dar, denn dies 
ware auch aus internen Entscheidungszustanden des Sortie- 
rers S2 ermittelbar. Das von der auf Gleichheit uberpriif en- 
den Einrichtung erhaltene Ergebnis dient wiederum zur An- 
steuerung des Multiplexers MUX1, urn die beiden zur Diffe- 
renz gehorigen Ausgangssignale des Sortierers SI einem Mit- 
telwertbildner (Bezugszeichen "2/2") zuzufuhren, der die 
beiden Werte zur Mittelwertbestimmung addiert und dann 
durch zwei dividiert. Dieser Mittelwert stellt dann das Er- 
gebnis KE dar, also der Koharenzwert der Vielzahl ermittel- 
ter Disparitatswerte • 

Eirie Variante der vorstehend beschriebenen Schaltung be- 
steht dariri, die ermittelten Differenzen mit einem Schwel- 
lenwert zu vergleichen, wobei nur die Kandidaten bzw. Werte 



weiterverarbeitet werden, die unterhalb des bestimmten 
Schwellenwerts, bzw. innerhalb eines durch Schwellenwerte 
bestimmten Fenster-Wertebereichs (z. B. entsprechend dem 
Fusiorisbereich) liegen. Ein nachgeschaltetes Schaltwerk 
findet danri den grofiten Cluster benachbarter Kandidaten. 
Beide Varianten sind moglich und konnen bezogen auf den je- 
weiligen Anwendungsf all jeweils die besseren Ergebnisse 
lief erri. 

Fig. 4B zeigt eine Ausf iihrungsvariante des zuvor beschrie- 
benerl Koharenzdetektors KD, bei der dem Koharenzdetektor 
neben Ausgangssignalen der EST Elemente weitere Daten zuge- 
fiihrt werden. Diese ist insbesondere dann einsetzbar f wenn 
die Bilddaten zeilenverschachtelt bzw. "interlaced" erhal- 
ten werden f und sich die gesamte Bildinf ormation eines 
Vollbildes z.B. aus zwei Halbbildern zusammensetzt . Dann 
werden die Disparitatswerte jeweils f ur Bilddaten eines 
Halbbildes ermittelt und der entsprechende Koharenzwert der 
Disparitaten fur Bildpunkte eines Halbbildes ermittelt. Fur 
ein jeweiliges Halbbild werden die Werte KE fiir die Bild- 
punkte des Halbbildes in einer Speichereinrichtung MEM (mit 
einer Speicherkapazitat fiir ein Halbbild) zwischengespei- 
chert^ und wahrend der nachsten Halbbildperiode ausgelesen 
und dem Koharenzdetektor KD an einem zusatzlich vorzusehen- 
den EingangsanschliiB zugefiihrt. Der interne Aufbau des Ko- 
harisnzdetektors KD ist im wesentlichen identisch zu dem in 
Verbindiing mit Fig. 4A beschriebenen, mit dem Unterschied, 
dafi eir ein zusatzliches (das rlickgekoppelte) Signal verar- 
beiten konnen mui3 # wofur verschiedene Varianten moglich 
sind. Insbesondere kann der ruckgekoppelte Koharenz- 
Disparitatswert bereits dem Sortierer SI zugefiihrt werden 



und dort beriicksichtigt werden / oder aber erst spater bei 
der Mittelwertbildung Einflufl nehmen. In letzerem Fall ware 
er dem Mittelwertbildner (Bezugszeichen "E/2") zuzufuhren. 
Die in Fig, 4A dargestellte Schaltung ist dann jeweils ent- 
sprecherid zu modif izieren . 

Auf diese Weise kann dann der "wahre" Disparitatswert 
(Kohareriz-Disparitatswert ) flir ein Vollbild unter Beruck- 
sictitigung beider Halbbilder erhalten werden. 
Fig. 4C zeigt ein zweites Ausf uhrungsbeispiel eines Koha- 
renzdetektors, dessen Funktionsweise auf dem Faltungsprin- 
zip beruht, und Fig. 4D stellt Einzelheiten der Realisie- 
rung der Faltungseinrichtung bei dem in Fig. 4C dargestell- 
ten Koharenzdetektor dar. 

Zum besseren Verstandnis soil dazu zunachst das Prinzip der 
Faltung fur den vorliegenden Fall allgemein erlautert wer- 
den. Mit dem Koharenzdetektor soli derjenige Wert zugeflihr- 
ter Eingangswerte bestimmt bzw. ermittelt werden, der mog- 
lichst nahe zu einem oder mehreren anderen ist, wie vorste- 
hend bereits ausgef iihrt . Bei der Faltung werden dabei die 
erhaltenen Werte miteinander gefaltet, um zu ermitteln, 
welcher Wert im betrachteten Wertebereich dem Faltungswert 
bzw. Faltungsergebnis entspricht und somit der Wert ist, 
der moglichst nahe zu einem oder mehreren anderen ist (das 
heifit,. die Differenzen zwischen dem Faltungswert und den 
umgebenden sind kleiner oder gleich einem vorbestimmten 
Wert) . Ahschaulich kann dies so erlautert werden, dafl jedem 
der miteinander zu faltenden Werte ein zum jeweiligen Wert 
symmetrisches, geeignetes Intervall liberlagert wird. Bei 
geeigheter Wahl des Intervalls (das flir jeden Wert gleich 



ist), kommt es zu einer liberlagerung von einzelnen der In- 
tervalle. Der Bereich im betrachteten Wertebereich, in dem 
die meisten der einzelnen Intervalle einander iiberlagern 
( entsprechend der Schnittmenge, die aus der groBten Anzahl 
der einzelnen Mengen besteht) bzw. der Bereich , der den 
grSBten Flachenanteil der uberlagerten Intervalle aufweist 
(•'groBtes Integral") stellt dann das Faltungsergebnis dar. 

Fig. 4C gibt eine Hardwarelosung an, die eine derartige 
Faltungsoperation, die bisher nur zeitaufwendig zum Bei- 
spiel mittels digitaler Signalprozessoren ausf uhrbar war, 
in Echtzeit durchfiihrt. 

Dabei werden die von n Disparitats-Elementen EST ± ( 1 <= i 
<= n) einer Disparitats-Detektionseinrichtung DD an jewei- 
ligen Signaleingangen zugefuhrten Eingangssignalwerte zu- 
nachst einer Fenster-Begrenzungseinrichtung FB zugefuhrt. 
Die Fenster-Begrenzungseinrichtung FB gibt dabei diejenigen 
der n Eingangssignale aus, deren Eingangssignalwert inner- 
halb eines vorbestimmten Fenster-Wertebereichs liegt, Die- 
ser ist vorzugsweise ein endlicher Fenster-Wertebereich im 
Intervall [-x, . . . , 0, +x} mit m+1 Werten im Abstand 

von 2x/m, wobei die Wertebereichsgenzen +/- x durch die 
Disparitatswerte des Fusionsbereichs urn die Fixationsebene 
herum (mit einer Disparitat von Null) bestimmt sind. 

Diejenigen der n Eingangssignale, deren Signalwert nicht in 
diesem; Fenster-Wertebereich liegt, werden am entsprechenden 
Aus gang der Fenster-Begreinzungseinrichtung in einen Zustand 
(z.B,' eiiien hochohmigen Zustand) versetzt, der dies anzeigt 



und eine weitere Verarbeitung der entsprechenden Signale 
unterbindet. 

Lediglich diejenigen der Eingangssignale mit einem Ein- 
gangssighalwert innerhalb . des Fenster-Wertebereichs werden 
von elner nachf olgenden Rundungseinrichtung R weiter verar- 
beitet • Die Rundungseinrichtung R fuhrt dabei eine Ruridung 
der seitens der Fenster-Begrenzungseinrichtung FB ausgege- 
benen Werte auf den jeweils nachstliegenden der m+1 Werte 
des voreingestellten Fenster-Wertebereichs aus. Somit wird 
die (unendliche) Vielzahl der seitens der jeweiligen Dispa- 
ritats-Elemente EST ± ausgegebenen Werte auf eine endliche 
Anzahl von m+l Werten abgebildet, die der nachf olgenden 
Faltung unterzogen werden. Dabei ist Genauigkeit der Fal- 
tung durch eine erhohte Anzahl m steigerbar. 

Mithin liegen nun nach der Fenster-Begrenzung durch die 
Fenster-Begrenzungseinrichtung FB und der Rundung durch die 
Rundungseinrichtung R maximal n Signale (wenn alle Ein- 
gangssignalwerte innerhalb innerhalb des Fenster- 
Wertebereichs liegen) mit jeweils einem von m+l Signalwer- 
ten vor • 

Diese werden uber eine Adressierungs-Ansteuereinrichtung AA 
einer Faltungseinrichtung F zugefiihrt. Dabei wird entspre- 
chend einem jeweiligen Wert der Signale ein diesem zugeord- 
neter Signaleingang der Faltungseinrichtung angesteuert. 
Das heiBt> die jehigen der der Adressierungs-Ansteuerein- 
richtung AA zugeflihrten (maximal n) Signale , deren Wert 
-x+(k-l ) *2x/m betragt, werden somit einem entsprechenden k- 
ten von m+l Signaleingangen E k der Faltungseinrichtung F . 



zugefiihrt, wobei einem jeweiligen Signaleingang E k der Fal- 
tungseinrichtung F ein Strahlungsemissionselement zugeord- 
net ist, welches durch die zugefuhrten Signale angesteuert 
wird. ? Dabei sind die jeweiligen Strahlungsemissionselemente 
derart- beWchaf fen, dafl um so mehr Strahlung emittiert wird, 
je mehr der zugefuhrten Signale zur Ansteuerung des jewei- 
ligen Stralungsemissionselements dienen. Anders und verein- 
f achend dargestellt, emittiert ein Strahlungsemissionsele- 
ment k dbppelt so viel Strahlung, wenn zwei Signale den 
Wert -x+(k-l ) *2x/m haben, als wenn nur ein Signal mit dem 
entsprecheriden Wert zur Ansteuerung des k-ten Strahlungse- 
missionselements beitragt. 

Die so zur Emission gebrachte Strahlung wird von einer der 
Anzahl von Werten des Fenster-Wertebereichs entsprechenden 
Vielzahl von m+1 Strahlungsempf angselementen erfafit. Dar- 
iiber hinaus ist eine Auswerteeinrichtung AW bereitgestellt , 
die die Adresse k desjenigen der m+1 Strahlungsempf angsele- 
mente ermittelt, das die groflte Strahlungsintensitat er- 
fafit. Der Wert k dieser Adresse wird an einem Ausgangsan- 
schluB KE abgegeben, wobei der ausgegebene Wert das Ergeb- 
nis der Faltung der der Faltungseinrichtung zugefuhrten Si- 
gnale darstellt. 

Fig. 4D stellt Ein&elheiten der Faltungseinrichtung F dar. 
Bel den dargestellten Strahlungsemissionselementen handelt 
es sich beispielsweise um Licht emittierende Dioden LED X , 
. . . , LED^ ; • • • LED m+1 . Dabei kann Licht im sichtbaren Be- 
reich emittiert werden, jedoch sind auch im Inf rarotbereich 
emittierende Strahlungsemissionselemente verwendbaf . Die 
Licht emittierende Dioden sind dabei an der Oberseite eines 



transparenten Substrats SUB angeordnet. Bei diesem Substrat 
kann es sich beispielsweise um ein Glassubstrat handeln. 
Den bioden gegeniiberliegend und zugewandt an der Unterseite 
des Substrats sind in entsprechenden Positionen Strahlungs- 
empf angselemente PD1, . . . , PDk, . . . , PDk+1 angeordnet. Bei 
dieseh Strahlungsempf angselementen handelt es sich z.B. um 
Photodioden (z.B. pn-Photodioden, pin-Photodioden, Schott- 
ky-Photodioden, etc.) oder um Phototransistoren. Es ist 
selbstverstandlich zu beachten, daJ3 die verwendeten Strah- 
lungsempf angselemente auf den Wellenlangenbereich der ein- 
gesetzten Strahlungsemissionselemente abgestimmt sind auch 
und ihr Arbeitsbereich hinsichtlich der Empf indlichkeit auf 
die Strahlungsemissionselemente abgestimmt ist. 

An einem Beispiel sei nachfolgend die Funktionsweise der 
Faltungseinrichtung F verdeutlicht . Es sei angenommen, daJ3 
von m+1 Strahlungsemissionselementen nur die Elemente k-l f 
k f und k+1 angesteuert werden f da nur die diesen entspre- 
chenden (gerundeten) Werte der Adressierungs-Ansteuerein- 
richtung zugefuhrt werden. Ferner sei fur dieses Beispiel 
angenommen, dafl jeder der drei Werte nur je einmal von den 
n Disparitats-Elementen ermittelt wurde. Das heiflt, daB bei 
diesem Beispiel die Strahlungsemissionselemente k-1, k, k+1 
identisch angesteuert werden und folglich die gleiche 
Strahlungsmenge ab^eben. Die jeweils abgegebene Strahlung 
breitet sich durch das Substrat SUB aus f wird raumlich 
liberlagert und gelangt zu den Strahlungsempf angselementen. 
Dabel erf aBt das k-te Strahlungsempf angselement die vom k- 
teh Emissionselement abgegebene Strahlung als auch die von 
beideri unmittelbar benachbarten (k-l f k+1) Emissionselemen- 
ten abgegebene Strahlung. Die beiden benachbarten Empf ang- 



selemente k-1, k+1 empfangen entsprechend jeweils die 
Strahlung der Emissionselemente k-1, k, k+1 und k+1, k, 
k-1. Aufgrund der raumlichen Ausbreitung und der unter- 
schiedlichen Entfernung ist beim Empf angselement k-1 jedoch 
5 der Anteil des Emissionselements k+1, und beim Empf angsele- 
ment k+1 der Anteil des Emissionselements k-1 starker ge- 
dampft als beim Empf angselement k. Folglich wird das Emp- 
f angselement k die hochste Strahlungsintensitat erfassen 
und die Auslwerteeinrichtung AW ermittelt den Wert k der 
10 Adresse als Ergebnis der Faltung und gibt diesen am An- 
schlufi KE aus. Bei diesem speziellen Beispiel entspricht 
das Ergebnis der Faltung somit dem Mittelwert. 

Bei einer (nicht dargestellten) Variante besteht die Fal- 
15 tungseinrichtung aus einem entsprechenden Array aus m+1 

Zahlern. Aufgrund der vorhergehenden Rundung sind einander 
in Bezug auf ihren Wert benachbarte Disparitatswerte auf 
den gleichen Wert gerundet, so daJ3 der entsprechende k-te 
Zahler des Arrays, der dem entsprechenden Disparitatswert 
20 zugeordnet ist, entsprechend mehrfach inkrementiert wird, 

und zwar urn die Anzahl der Disparitatswerte (im Cluster von 
benachbarten Werten), die das gleiche Rundungsergebnis lie- 
fern. Die nachfolgende Auswerteeinrichtung gibt dann die 
Adresse k des Zahlers mit dem hochsten Zahlerstand als Er- 
25 gebnis KE aus . } - 

Fig. 5 veranschau 1 ic h t die Funktionsweise der vbrstehend 
beschriebeilen Disparitats-Koharenzdetektoren KD . In der 
graphischen Darstellung gemaB Fig. 5 sind jeweils auf der 
30 Abszisse die Bildelementpositionen bzw. Pixelnummern 

(bezogen auf das als Referenzbild gewahlte erste oder zwei- 
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te Bild) auf getragen, und als Ordinate fiir jedes Bildele- 
ment die dem Koharenzdetektor KD zugefiihrten n Disparitats- 
werte, die von den Disparitatselementen EST X bis EST n aus- 
gegeben werden. Im vorliegenden Fall sind beispielsweise n 
5 =7 Disparitatselemente EST ± fiir einen Disparitatsdetektor 
DD vorgesehen. Der Disparitatswert von Null ist dabei auf 
die Fixationsebene bezogen und entspricht der Entfernung 
der Fixationsebene. Die diesen umgebenden Werte der Dispa- 
ritat im Bereich von z.B, -4 bis +4 stellen dann den Fusi- 
10 onsbereich dar und entsprechen jeweils einer Entfernung, 
■( V . die naher oder entfernter als die Fixationsebene ist. 



Fiir jedes Bildelement werden die vorliegenden n Dispari- 
tatswerte mittels des jeweils gewahlten Koharenzdetektors 
15 KD gemai3 dem ersten oder zweiten Ausfuhrungsbeispiel in 

Echtzeit verarbeitet bzw. verglichen f und derjenige Dispa- 
ritatswert als der eigentliche Disparitatswert ausgegeben, 
der annahernd identisch mit moglichst vielen weiteren der 
zugefiihrten Disparitatswerte ist. Genauer heiflt das f daJ3 
20 moglichst viele Disparitatswerte in einem Intervall von z. 
B. etwa 0.2 bis 0.4 um den betreffenden Disparitatswert 
herum liegen sollen f damit dieser betreffende Disparitats- 
wert der eigentliche Disparitatswert ist. Am einfachsten 
ist es, wenn fiir ein bestimmtes Bildelement mehrere Dispa- 
25 ritatswerte den gleichen Wert haben. Dieser Fall entspricht 
in der graphischen Darstellung gemaii Fig. 5 einem Schnitt- 
punkt von zumindest zwei der n Disparitatswerte fiir ein be- 
stimmtes Bildelement . Die zeilenweise Analyse der n Dispa- 
ritatsweirte fiir jedes Bildelement einer betreffenden Zeile 
30 liefert dann beispielsweise einen Verlauf der eigentlichen 
Disparitat fiir eine betreffende Zeile des Bildes wie er im 
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rechten Teil der Fig. 5 dargestellt ist, wobei aus der Ge- 
samtheit der analysierten Bildzeilen dann eine Disparitats- 
karte in Form eines dritten Bildes ermittelt bzw. darge- 
stellt werden kann (oberes Bild rechts in Fig. 5). 

5 \ 

Dutch die geeignete Auswahl der Anzahl n von Disparitats- 
Elem^nten EST kann die Genauigkeit bzw* Zuverlassigkeit der 
seitens des Koharenzdetektors ermitteiten wahren Disparitat 
gesteigert werden, da dann mehr Disparitatswerte vorliegen, 
10 die beziiglich ihirer Koharenz ausgewertet werden. Insbeson- 
dere berechnet jedes Disparitats-Element EST die Disparitat 
im gesamten MeBbereich, also vollstandig parallel. Mithin 
entf allt die bei vielen aus dem Stand der Technik bekannten 
Realisierungen notwendige iterative Annaherung von groben 
15 hin zu feinen MeBbereichen, um den tasachlichen Dispari- 
tatswert zu ermitteln. 



Zudem kann beruhend auf den seitens der Diparitats-Elemente 
EST deis Disparitatsdetektors DD erhaltenen Werte noch eine 
20 Zusatzinformation hinsichtlich der Zuverlassigkeit der er- 
mitteiten Disparitat gewonnen werden. Das heiBt, betrachtet 
man die Disparitatswerte an einem Punkt der Zeile (vgl. 
Fig. 5), dann ist die Nahe der Nachbarn um den exakten Dis- 
paritatswert ein MaB fiir die Zuverlassigkeit der ermittel- 
25 ten Disparitat. liber das gesamte Bild kann somit eine Zu- 
veriassigkeitskarte ermittelt werden, die in Echtzeit eine 
Aus sage beziiglich der Wahrscheinlichkeit fiir die Richtig- 
keit der e'rmittelten Disparitat liefert. 



30 



Fig. 6 zeigt ein weiteres Beispiel fiir von Bildauf nehmern 
CCDL; CCDR aufgenommene Bilder "linkes Bild" (a) und 



"rechtes Bild" (b) von im Raum angeordneten Objekten. In 
beiden Bildern befinden sich ein erstes und zweites Objekt 
vor einem weiteren (dritten) Objekt, welches im Hintergrund 
der dargestellten raumlichen Szene zu erkennen ist, Auf- 
grund der Auswertung durch das erf indungsgemaBe optische 
Sensorsystem zur Verarbeitung stereoskopischer Bllder in 
Echtzeit wird dann eine Disparitatskarte (c) gewonnen, die 
als Grauwertbild (oder als Farbbild) auf einem Bildschirm 
darstellbar ist. GemaB Fig. 6 ist in der Disparitatskarte 
ein im Vordergrund befindliches Objekt hell dargestellt/ 
ein itn mittleren Tief enbereich befindliches Objekt durch 
einen der Tief e entsprechenden hellen bis dunklen Grauwert 
dargestellt , und das Objekt im Bildhintergrund als das Ob- 
jekt mit der groBten Tiefe ist in der Disparitatskarte an- 
nahernd schwarz wiedergegeben . Die im angegebenen Beispiel 
gemafi Fig. 6 beschriebene Darstellungsf orm fiir die Tief en- 
information ist jedoch nicht zwingend vorgeschrieben . Eben- 
so konnen Objekte im Vordergrund dunkel wiedergegeben sein, 
und Objekte im Hintergrund hell wiedergegeben sein. 

Daruber hinaus konnen die Daten der angezeigten Dispari- 
tatskarte auch zu Steuerungszwecken eingesetzt werden, in- 
dem man diese Daten beispielsweise zur Steuerung von Robo- 
tern bei Montagevorgangen heranzieht und einen Soll-Ist- 
Vergleich iriit vorab definierten 3-D-Fertigungsdaten und den 
aus den Disparitaten ermittelten Tief eninf ormationen durch- 
fuhrt. 

Unbemannte Fahrzeuge konnen bei Erreichen und/oder Unter- 
schreiten eines vorbestimmten Minimal-Tief enwertes zur Ver- 
hinderung von Kollisionen durch entsprechende Ansteuerungen 
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zum Ausweichen veranlaBt werden, wobei dieses Prinzip auch 
bei der Implementierung passiver und/oder aktiver Abstands- 
warn- und Antikollisionssysteme in Kraft fahrzeugen einsetz- 
bar ist. Weitere Einsatzmoglickeiten fiir das System zeigen 
5 sich in der Medizintechnik beispielsweise beim dreidimen- 
sionalen Abtasten von Korperkonturen zur Klassif ikation von 
Dysplasien. Insbesondere bestehen Einsatzmoglichkeiten im 
kiefercHirurgischen Bereich oder bei f lexiblen oder starren 
Enddskoperi. 
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1. Koharenzdetektor mit 

einer Vielzahl von n Signaleingangen (EST ± (1 <= i <= 
n); El, E2, E3, E4 ) , an denen ein jeweiliger Eingangssig- 
nalwert anliegt f 

einer ersten Sortiereinrichtung (SI) zum Sortieren der 
n zugefuhrten Eingangssignalwerte (El,..., E4) entsprechend 
ihrem Wert (A, B, C, D) und zur parallelen Ausgabe der n 
sortierten Werte, 

einer Vielzahl von n-1 Subtrahiereinrichtungen ( ) 
zur Subtraktion von jeweils zwei benachbarten sortierten 
Werten ( ( D-C ) , ( C-B ) , ( B-A) ) , 

einer zweiten Sortiereinrichtung (S2) zum Sortieren 
der erhaltenen n-1 Differenzen ((D-C), (C-B), (B-A) ) hin- 
sichtlich ihres Betragfes und zur Ausgabe des kleinsten Dif- 
ferenzbetrags ("«" ), 

einer Auswahleinrichtung ("=", MUX1), die anhand des 
ermittelten kleinsten Dif f erenzbetrags ("«") das diesem 
zugehorige wertepaar der Eingangssignalwerte ausgibt, und : 
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einer Ausgabeeinrichtung ("E/2"), cier das ausgegebene 
Wertepaar zugefiihrt wird und die dessen Mittelwert (KE) 
ausgibt. 

5 2 . Detektor nach Anspruch 1, wobei 

die Auswahleinrichtung ("=", MUX1) eine 

Vergleichseinheit ( ,,= =" ), die durch Vergleichen des 
kleinsten Dif f erenzbetrags mit den n-1 Dif f erenzwerten den- 
jenigen Dif f erenzwert ermittelt, der dem kleinsten Diffe- 
10 renzbetrag entspricht, und 

eine Multiplexereinheit (MUX1) aufweist, die aufgrund 
der Ansteuerung durch das seitens der vergleichseinheit be- 
reitgestellte Vergleichsergebnis dasjenige Wertepaar der 
Eingangssignalwerte mit der geringsten Differenz ausgibt. 

15 

3. Koharenzdetektor mit 

einer Vielzahl von n Signaleingangen (EST ± ) , mit 
1 <= i <= n, an denen ein jeweiliger Eingangssignalwert an- 
liegt f 

20 einer Fenster-Begrenzungseinrichtung (FB) ziir Ausgabe 

(3 -y derjenigeh der n Eingangssignale, deren Eingangssignalwert 
innerhalb eines voreingestellten, endlichen Fenster- 
Wertebereichs [-x f . . . , 0 , . . . , +x] mit m+1 Werten im Ab- 
stand von 2x/m liegt f 
25 einer Rundungseinrichtung (R) zur Rundung der seitens 

der Fenster-Begrenzungseinrichtung (FB) ausgegebenen Werte 
auf den jeweils nachstliegenden der m+1 Werte des voreinge- 
stellten Fenster-Wertebereichs , 

eirier Adressierungs-Ansteuerungseinrichtung (AA) , und 
30 einer Faltungseinrichtung (F) , wobei 
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die Faltungseinrichtung (F) eine der Anzahl von 
Werten des Fenster-Wertebereichs entsprechende Viel- 
zahl von m+1 Signaleingangen (E k , 1<= k <= m+1) hat, 
und dem jeweiligen k-ten Eingang durch die Adressie- 
5 rungs-Ansteuerungseinrichtung ( AA) diejenigen der n 

Signale zugefuhrt werden, deren Wert -x +(k-l)*2x/m 
betragt, welche somit ein entsprechendes k-tes von m+1 
Strahlungsemissionselementen ansteuern, wobei die so 
zur Emission gelangte Strahlung von einer der Anzahl 
10 von Werten des Fenster-Wertebereichs entsprechenden 

Vielzahl von m+1 Strahlungsempf angselementen erfaBt 
wird, und 

einer Ausweirteeinrichtung (AW), die die Adresse k des- 
jenigen der m+1 Strahlungsempf angselemente ermittelt, das ' 
15 die groBte Strahlungsintensitat erfafit, und den Wert k die- 
ser Adresse an einem AusgangsanschluB (KE ) abgibt, wobei 
der ausgegebene Wert das Ergebnis der Faltung der der Fal- 
tungseinrichtung zugefiihrten Signale darstellt. 



20 4, Signalverarbeitungvorrichtung nach Anspruch 3, wobei 
i es sich bei den Strahlungsemissionselementen der Faltungs- 
einrichtung urn Licht emittierende Dioden (LED) und bei den 
Strahlungsempf angselementen urn Photodioden (PD) handelt. 



25 5, Signalverarbeitungvorrichtung nach Anspruch 4, wobei die 
Licht emittierenden Dioden (LED) an der Oberseite eines 
transparenten Substrates (SUB) angeordnet sind, und die 
Photodioden den Licht emittierenden Dioden (LED) gegeniiber- 
liegehd an der Unterseite des Substrates (SUB) angeordnet 

30 sind. 
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6. Signalverarbeitungvorrichtung nach Anspruch 5, wobei das 
transparente Substrat (SUB) ein Glassubstrat ist. 

5 7. Bildverarbeitungsvorrichtung, mit 

Verschiebe-Einrichtungen (VSEL, VSER; AX L1 , . AX^, 
AX R1/ . . . , AX^) zur gegenseitigen Verschiebung von diesen je- 
weils zugefiihrten Bilddaten eines ersten Bildes und eines 
zu diesem unter einem anderen Auf nahmewinkel auf geriommenen 
v^x 10 zweiten Bildes, wobei die Bilddaten an den Verschiebe- 
y ffff ( Einrichtungen (VSEL, VSER) jeweils parallel abgegriffen 
werden und paarweise ( (AX L1 , AX to ) , <AX L2f AX^) , • . . , (AX^ 
AXja) , ( AX^ AX R1 )> ) einer nachf olgenden 

Disparitats-Detektionseinrichtung (DD; EST 1# . 
15 EST n ) zugefuhrt werden; wobei die Disparitats- 

Detektionseinrichtung (DD) fur jedes der zugefiihrten Bild- 
datenpaare ( ( AX Li/ AX^^) ) mittels eines jeweiligen Dispa- 
ritats-Elementes (EST 1# EST n ) einen raumliche Tiefen- 

informationen fiir das jeweilige Bilddatenpaar darstellenden 

20 Disparitatswert ermittelt, und die ermittelten Disparitats- 

J ) ' . 

-HjL werte einer Koharenz-Detektionseinrichtung (KD) nach einem 
der Anspriiche 1, 2 oder 3 bis 6 zufuhrt, 

wobei der ausgegebene Disparitatswert (KE) auf jede 
Verschiebung der Bilddaten hin ermittelt wird und die zuge- 
25 hSrige raumliche Tief eninf ormation darstellt. 

8 . Biidverarbeitungsvorrichtung nach Anspruch 7, wobei 

die Bilddaten eines Vpllbildes wahrend zweier auf ein- 
anderf olgender Halbbildperioden zeilenverschachtelt in 
30 Halbbildern zugefuhrt werden, 



von der Koharenz-Detektionseinrichtung (KD) wahrend 
einer ersten Halbbildperiode ermittelte tatsachliche Dispa- 
ritatswerte in einer Speichereinrichtung (MEM) zwischenge- 
speichert werden, und 

diese zwischengespeicherten Disparitatswerte der Koha- 
renz-Detektionseinrichtung (KD) wahrend der darauf f olgenden 
zweiten Halbbildperiode zusatzlich zu den von der Dispari- 
tats-Detektionseinrichtung (DD) erfaflten Disparitatswerten 
zugefuhrt werden f um die tatsachlichen Disparitatswerte flir 
das Vollbild zu ermitteln. 

9 « Bildverarbeitungsvorrichtung nach Anspruch 7, wobei die 
zugefiihrten Bilddaten des ersten Bildes und des zweiten 
Bildes jeweils einer Vorverarbeitungseinrichtung (WL, WR) 
zugefuhrt werden; und aufgrund der Vorverarbeitung erhalte- 
ne unterschiedliche Bilddatenarten der Bilddaten des ersten 
Bildes und des zweiten Bildes jeweils Verschiebeeinrich- 
tungen (VSEL # VSER) und einer Disparitats-Detektionsein- 
richtung (DD) zugefuhrt werden, die jeweils fur eine jewei- 
lige Bilddatenart vorgesehen sind. 

10. Bildverarbeitungsvorrichtung nach einem der Anspriiche 7 
bis 9 wobei die Bilddaten des ersten und zweiten Bildes se- 
riell und zueinander synchronisiert zugefuhrt werden. 

11. Bildverarbeitungsvorrichtung nach Anspruch 10 , wobei 

die Verschiebe-Einrichtungen (VSEL, VSER; AX Lir AX^, 

AX R1/ . . . , AXj^,) die Bilddaten bildpunktweise gegeneinander 
verschieben. 
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12. Bildverarbeitungsvorrichtung nach Anspruch 10, wobei 
die Verschiebe-Einrichtungen (VSEL, VSER; AX L1 , . AX^, 
AX Rlf • • . , AX^) die Bilddaten in Bruchteilen von Bildpunkten 
gegerieinander verschieben. 

5 . ... 

13 . Bildverarbeitungsvorrichtung nach Anspruch 11 oder 12, 
wobei die Bilddaten als analoge Bildsignale zugef uhrt wer- 
den , die Verschiebeeinrichtungen als analoge Lauf zeitketten 
atusgef uhrt sind und die gegenseitige Verschiebung der Bild- 

10 elemerite durch Einstellung der entsprechenden Laufzeit er- 

ik fol 9 t ; 

14. Bildverarbeitungsvorrichtung nach Anspruch 11 , wobei 
die Bilddaten als digitale Bildsignale zugef uhrt werden und 

15 die Verschiebeeinrichtungen als getaktete Schieberegister 
ausgefiihrt sind. 



15 . Bildverarbeitungsvorrichtung nach Anspruch 12, wobei 
die Bilddaten als digitale Bildsignale zugefiihrt werden und 
20 die Verschiebeeinrichtungen als Filter ausgefiihrt sind, die 




Bilddatenwerte zwischen benachbarten Bildelementen interpo- 
lieren. 



16. Bildverarbeitungsvorrichtung nach Anspruch 7, wobei ein 
25 jesweiliges Disparitats-Element (EST lf . .., EST i# EST n , 
1 ^ i ^ n) den ermittelten Disparitatswert auf einer gra- 
dient enbasier ten Verarbeitung beruhend ermittelt. 



17 . Bildverarbeitungsvorrichtung nach einem der Anspruche 7 
bis 16, wobei eine Anzeigevorrichtung vorgesehen ist, urn 
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die tatsachiichen Disparitatswerte (RE) als die Tiefenih- 
fbrmation darstellende Disparitatskarte auszugeben. 
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Z usammenf as sung 
(Fig. 4A) 

Koharenzdetektor mit 

einer Vielzahl von n Signaleingangen (EST* (1 <= i <= n) ; 
El, E2, E3, E4) , an denen ein jeweiliger Eingangssignalwert 
anliegt, 

einer ersten Sortiereinrichtung (SI) zum Sortieren der n 
zugefiihrten Eingangssignalwerte (El,..., E4) entsprechend ihrem 
Wert (A, B, C, D) und zur parallelen Ausgabe der n sortierten 
Werte, 

einer Vielzahl von n-1 Subtrahiereinrichtungen ("-") 
zur Subtraktion von jeweils zwei benachbarten sortierten Werten 
((D-C), (C-B), (B-A)), 

einer zweiten Sortiereinrichtung (S2) zum Sortieren 
der erhaltenen n-1 Dif f erenzen ((D-C), (C-B), (B-A) ) 
hinsichtlich ihres Betrages und zur Ausgabe des kleinsten 
Dif f erenzbetrags ("«")/ 

einer Auswahleinrichtung ("=", MUXl) , die anhand des 
ermittelten kleinsten Dif f erenzbetrags ("«") das diesem 
zugehorige Wertepaar der Eingangssignalwerte ausgibt, und 

einer Ausgabeeinrichtung ("2/2") , der das ausgegebene 
Wertepaar zugefiihrt wird und die dessen Mittelwert (KE) 
ausgibt, 

Telefon: 089 - 544690 Deutsche Bank (Munchen) Kto. 286 1060 (BLZ 700 700 10) 

Tolofav/r^- aoq cooftH 4 Dresdner Bank (Munchen) Kto. 3939 844 (BLZ 700 800 00) 

I eieTaxtv^;. uo» - oo^oi l Postbank (Munchen) Kto. 670 - 43 - 804 (BLZ 700 100 80) 

Telefax(G4): 089 - 5329095 Dal-lchi-Kangyo Bank (Munchen) Kto. 51 042 (BLZ 700 207 00) 

pOSt0ffice@tbk- patent.COm Sanwa Bank (Dusseldorf) Kto. 500 047 (BLZ 301 307 00) 



PIG. 1A 

I 



CCDL 



SYNC 



CCDR 



VVL 



CLK 



VVR 



VSEL 



DD 



21 



VSER 



KD 



NB 



DV 



FIG. IB 



-x 

FUSIONSBEREICH 

DISPARIT&T: -■ 
+X ... -X 
(-> ZUSATZVER- 
SCHIEBUNG) 
+X 



OBJEKTIV 



CCDL 




£ ENTFERNUNG 



FIXATIONSEBENE 
(i>ISPARITAT:=0) 



OBJEKTIV 



CCDR 



DISPARIT&T FOR PI IN 
FIXATIONSEBENE (-> 
VORVERSCHIEBUNG ) 



o . , 



DISPARIT&T FOR P2 

(WE ITER ENTFERNT) : -X 

(BEZUG: FIXATIONSEBENE) 



Fig. 2 




Fig. 3A 



Ax 



Li 



Ax 



Rn+l-i 








DIFF 




U D x 



-D-t 



I 
I 
I 

Vest 
i 
i 
i 

i 




Fig. 3B 



TAKT . [ 




SRI 



"V. 




TAKT 



SR3^ 



i 




K 



JA 





5S Jl 








x J2 








x J3 




z - 












* J5 









* Kl 

* K2 




E 












* K3 









JB 




* Jl 



x J2 



* J3 



* J4 



* J5 



TAKT 



•SR4 



Disparitat T 



Fig. 4A 



von ESTi 



El 


E2 


E3 


E4 


A < 


B < 


C < 


D 



1_I 



MUX 1 



KD 




2 



KE 



S 2 



J I 



B-A 
« 



C-B d-c 



1 ~~T 



Fig. 4B 



von EST 



/n 




CLK 



KE 



O MEM 



V 



FIG. 4C 



von 
EST 1 



von 
EST i 



Fenster- 
Begrenzungseinrichtung 



von 
EST_n 

^- FB 



-n 



RUNDUNGSEINRICHTUNG 



ADRESSIERUNGS-ANSTEUERUNGS- 
EINRICHTUNG 



AA 



El E k 



FALTUNGSEINRICHTUNG 



m+1 



AUS WERTEE I NRI CHTUNG 



E m+1 



AW 



KE 



FIG. 4D 



E 1 



E k 



E m+1 





LED1 




LEDk 


• • 


LEDm+1 








N 




PD1 




PDk 


• • 


PDm+l 





F 



SUB 



m+1 



Fig. 5 



CD 
M 

CO 

:«J 
4-> 
•H 
M 
fO 

a 

CO 
•H 
Q 




wimm 



+J <d 

:«} M 4-> 

4-> 0 M 

M M 

«3 CD CO 

CO *H 

•H QJ 4J 

Q Nl 



:«3 



0> rH 
M 



CO 



£ MH Q 




8 



II 



-H 



Eh 
CO 
W 

C! 
CD 
4-1 

c 
a) 

.e 

rH 

CD 
CO 
-P 
:f0 
4-> 
-H 

03 

a 

CO 



O 
> 

<D 
-P 

fd 
Q 



Fig. 6 



Objekt 




Dispa.ritatskarte (c) 



